目标检测:或者在每帧中都进行检测,或者在目标出现时检测。有利用当前帧信息检测的,也有利用连续帧的相关信息检测的。后者最常用的方法是帧间差分。
常用的目标检测方法有四类:
寻找图像中的特征点。特征点是在各自位置具有代表性纹理特征的点。
特征点最有意义的属性是其对光照和摄像头视角变换具有不变性。
常用的有Moravec's 算子, Harris算子, SIFT算子, KLT算子 其中SIFT算子的图像变形的效果最好
对背景建模,然后进行背景减除剩下前景视作所求的目标,也是目标检测的一类方法。背景模型的巨大变化即意味着目标移动。
帧间差分是背景减除中的一个经典算法。Wren等人提出用3D高斯函数对固定背景每个像素的颜色I(x,y)建模,I(x,y) ~ N(μ (x,y), Σ(x,y))。其中 μ (x,y)是均值, Σ(x,y)是协方差。这两个数据通过对连续背景帧的观测学习得到。由于颜色对光照敏感,单个高斯函数建模的模型不适用于户外场景。
多形态混合统计模型的利用是背景建模的一个重大改进。比如混合高斯模型,非参数核密度估计(Elgammal & Davis[2000]),纹理颜色特征融合(Li & Leung[2002]),以及分层模型(Toyama[1999])等,都是其中的重要算法。
将图像表达为离散事件状态也是一种背景减除方法。对有限的不同事件状态分别进行背景建模,根据该模型区分前景和背景。其中的代表算法是隐形马尔科夫过程(HMM)在背景减除中的应用。
特征空间分解方法(Oliver[2000])则是另一种思路,并非建模独立像素点的变化,进行背景减除。其对光照条件变化不敏感。
上述背景减除方法都有一个局限性,即只能处理静态背景下的检测。Monnet[2003], Zhong & Sclaroff[2003]提出了自回归运动平均过程(ARMA), 可对背景的运动模型进行学习和预测。ARMA过程是个时间序列模型,由自回归和时间平均分量组成,其中自回归过程可以描述为其过去值域白噪声的加权和。
总的来说,处理摄像头静止条件下的跟踪问题,大多数时候可选择背景减除来检测特征区域。因为现有的背景减除方法能处理包括光照、噪声、背景周期运动在内的大多数问题,准确检测目标,而且计算方便。但主要限制在于对摄像头运动条件下处理能力有限。
NEXT STEP -- 帧间差分的再梳理,GMM等四种多形态混合模型的大致了解,HMM的阅读,特征空间分解方法和ARMA大致了解
图像分割
图像分割算法的目标是将图像分为几个部分。每个分割算法都要解决两个问题:分割准则和执行方法。
MeanShift聚类
Meanshift聚类也可以用在边缘检测、图像规则化、跟踪等方面。基于meanshift的分割需要精密的参数调整以得到较好的分割效果,如颜色和空间核带宽的选择,区域尺寸最小值的阈值设定。
Graph-cut
图像分割可以建模为graph-cut问题。图G的顶点V由图像像素点构成;通过剪除加权的边分割为N个不相连的子图。两个子图间被剪除的边的权和称为cut。权值由颜色、光照、纹理等因素计算得到。
Wu and Leahy [1993]提出了最小cut准则,目标是找到能够最小化cut的分割。
Shi and Malik [2000]提出了归一化cut来解决过度分割问题。
通常应用在跟踪目标轮廓上;与MeanShift相比,它所需要参数较少,但计算开销和内存开销较大。
主动轮廓
主动轮廓曲线将一个闭合轮廓曲线推演为目标边界,从而实现图像分割。这个过程由轮廓的能量函数来操纵。
这个问题需要解决三个方面问题:一是能量函数的确定,二是轮廓曲线的初始化,三是轮廓表达方式的选择。
重点看的文献是-[Paragios and Deriche 2000]。
NEXT STEP -- 回顾MeanShift聚类,看下其在分割中的应用
仔细看Graph-Cut方法的意义
主动轮廓方法,看[Paragios and Deriche 2000]
总结监督学习方面知识
目标检测中的监督学习方法,指的是在样本集合中通过对不同视角下的目标的训练过程,学习得到不同目标视角下从输入到输出的映射函数。它是一个分类问题,在目标检测中,学习样本由目标特征对河一个相关的目标类别组成。
特征选择是分类问题中的一个重要方面。特征可以是颜色、纹理、形状、轮廓等常用特征,也可以是目标区域、朝向、外观、概率密度、直方图等。
择特定特征之后,采用合适的学习算法来训练分类器。如神经网络,Adaptive Boosting,决策树,支持向量机等。在多维空间中建立目标与非目标两个类别之间的超平面实现分类。
通过Cotraining方法可以较少训练分类器所需要的样本容量。核心思想是用两个分类器分别对两个样本集合进行训练,然后相互交换样本继续训练,实验证明这种方法能够取得较好的分类效果,减少了样本数据需求。